Đường này xưa vốn là con rạch tự nhiên có lịch sử lâu đời, ban đầu là một phần của tuyến đường thủy huyết mạch nối Sài Gòn – Gia Định với miền Tây Nam Bộ xưa. Theo các sách Đại Nam nhất thống chí và Gia Định thành thông chí biên soạn vào thời Nguyễn, rạch này được gọi là sông Sài Gòn, do chảy qua phố chợ Sài Gòn (tức khu vực Chợ Lớn ngày nay)[lower-alpha 1][6]. Trong Gia Định thành thông chí, Trịnh Hoài Đức mô tả chi tiết như sau: "Tục danh sông Sài Gòn ở phía tây nam trấn; sông cũ từ cầu Thị Thông đi qua Sài Gòn đến sông Lao, quanh xa mà hẹp nhỏ, khuất khúc, nước cạn". Năm 1819, vua Gia Long cho đào đoạn sông mới nối thẳng từ cầu Thị Thông (Bà Thuồng) đến sông Mã Trường (kênh Ruột Ngựa), đặt tên là An Thông hà (sông An Thông), nay là đoạn kênh Tàu Hủ từ đường Hải Thượng Lãn Ông đến rạch Lò Gốm.[7]

Đầu thời Pháp thuộc, con rạch này vẫn là tuyến đường thủy quan trọng của thành phố Chợ Lớn, còn được biết đến với tên gọi rạch Chợ Lớn[8]. Theo học giả Vương Hồng Sển, lúc bấy giờ có một cây cầu được gọi là "Cầu Đường" bắc qua rạch, nối đại lộ Tổng Đốc Phương (đường Châu Văn Liêm ngày nay) sang chợ trung tâm Chợ Lớn (vị trí bưu điện Quận 5 ngày nay) nên rạch Chợ Lớn cũng được gọi là rạch Cầu Đường. Khoảng thập niên 1920, người Pháp cho lấp rạch để xây dựng thành hai đại lộ Gaudot và Bonhoure.[9]

Năm 1955, chính quyền Sài Gòn nhập hai đại lộ Gaudot và Bonhoure thành đại lộ Khổng Tử, kéo dài từ kênh Tàu Hủ đến trước chợ Kim Biên ngày nay. Năm 1975, Chính phủ Cách mạng lâm thời nhập đại lộ Khổng Tử với đường Trần Thanh Cần[lower-alpha 2] thành đường Hải Thượng Lãn Ông như hiện nay.